딥 러닝

Deep Learning

인간의 뇌와 흡사하게 구현한 신경망 알고리즘을 적용하여 보다 빠르고 효율적으로 학습하는 인공지능

딥러닝 모델 문제점

문제점	설명	해결방안
과적합 (Overfitting)	학습 데이터에 대해서만 최적화	데이터 추가 Regularization 조기 멈춤(Early Stopping) 드롭 아웃(Dropout)
기울기 소실 (Vanishing Gradient)	노드간 연결이 많을 때 가중치 학습 소실	사전 학습 ReLU
성능 (Performance)	노드가 많아질수록 학습이 지나치게 오래걸림	GPGPU

딥러닝의 한계

• 딥러닝이 효과적으로 작동하기 위해선 아래의 조건 충족 필요

1. 인공지능에게 판단에 필요한 충분한 지식을 습득하도록 만들 정도의 많은 데이터 필요
2. 최적화의 목표가 분명하고 수치적·정량적으로 규정 가능해야 함
3. 판단 대상이 훈련용 데이터에 비추어 이례적이지 않아야 함

• 딥러닝 인공지능이 판단을 내리는 논거는 제공한 데이터에 의하므로, 데이터가 편향되어 있으면 결과도 편향

머신러닝과의 관계

• 딥러닝은 머신러닝의 한 분야다. 인공지능 ⊃ 머신러닝 ⊃ 딥러닝. "머신러닝은 딥러닝의 일부" 는 틀리다.
• 머신러닝의 학습 방법은 지도·비지도·강화 학습이고, 딥러닝은 인공 신경망을 깊게 쌓아 특징을 스스로 학습하는 방법이다.

심층 신경망

• 은닉층을 여러 개(2개 이상) 쌓은 신경망이 심층 신경망(DNN)이다. "은닉층이 1개 존재" 는 틀리다.
• 가중치는 오차 역전파로 학습한다 → 역전파
• 층이 깊으면 시그모이드 함수에서 기울기 소실이 생기므로 은닉층에는 주로 ReLU를 쓴다. "ReLU보다 Sigmoid를 쓴다" 는 틀리다.
• 드롭아웃은 학습할 때마다 일정 비율의 노드를 임의로 꺼서 과적합을 막는다 → 드롭아웃
• 가중치가 무엇을 뜻하는지 알기 어려워 결과 해석이 어렵다(블랙박스).

대표 모델

• DNN(심층 신경망), CNN(이미지), RNN·LSTM(순차 데이터), GAN(생성), 트랜스포머
• SVM은 신경망이 아닌 머신러닝 기법이다. 딥러닝의 종류가 아니다.